/*
 * Copyright (c) 2005, 2014 vacoor
 *
 * Licensed under the Apache License, Version 2.0 (the "License");
 */
package org.vacoor.nothing.security.iplocator;

import com.google.common.collect.Maps;
import com.google.common.io.Files;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.vacoor.nothing.common.util.HttpUtils;
import org.vacoor.nothing.common.util.IOUtils;
import org.vacoor.nothing.common.util.Resources;
import org.vacoor.nothing.common.util.Throwables;

import java.io.*;
import java.nio.MappedByteBuffer;
import java.util.Hashtable;
import java.util.Map;
import java.util.StringTokenizer;
import java.util.concurrent.locks.ReentrantReadWriteLock;
import java.util.zip.Inflater;

/**
 * <pre>
 * 用来读取QQwry.dat文件，以根据ip获得好友位置，QQwry.dat的格式是
 * 一. 文件头，共8字节
 *    1. 第一个起始IP的绝对偏移， 4字节
 *     2. 最后一个起始IP的绝对偏移， 4字节
 * 二. &quot;结束地址/国家/区域&quot;记录区
 *     四字节ip地址后跟的每一条记录分成两个部分
 *     1. 国家记录
 *     2. 地区记录
 *     但是地区记录是不一定有的。而且国家记录和地区记录都有两种形式
 *     1. 以0结束的字符串
 *     2. 4个字节，一个字节可能为0x1或0x2
 *   a. 为0x1时，表示在绝对偏移后还跟着一个区域的记录，注意是绝对偏移之后，而不是这四个字节之后
 *        b. 为0x2时，表示在绝对偏移后没有区域记录
 *        不管为0x1还是0x2，后三个字节都是实际国家名的文件内绝对偏移
 *   如果是地区记录，0x1和0x2的含义不明，但是如果出现这两个字节，也肯定是跟着3个字节偏移，如果不是
 *        则为0结尾字符串
 * 三. &quot;起始地址/结束地址偏移&quot;记录区
 *     1. 每条记录7字节，按照起始地址从小到大排列
 *        a. 起始IP地址，4字节
 *        b. 结束ip地址的绝对偏移，3字节
 *
 * 注意，这个文件里的ip地址和所有的偏移量均采用little-endian格式，而java是采用 big-endian格式的，要注意转换
 *
 * 源码来自网络, 增加了升级功能
 * </pre>
 */
public class QQWryIPLocator implements IPLocator {
    private static final Logger LOG = LoggerFactory.getLogger(QQWryIPLocator.class);

    private static final String UPGRADE_COPYWRITE_URL = "http://update.cz88.net/ip/copywrite.rar";
    private static final String UPGRADE_DATA_URL = "http://update.cz88.net/ip/qqwry.rar";
    private static final String IP_DB_NAME = "qqwry.dat";

    private static final ReentrantReadWriteLock lock = new ReentrantReadWriteLock();
    private static final ReentrantReadWriteLock.ReadLock readLock = lock.readLock();
    private static final ReentrantReadWriteLock.WriteLock writeLock = lock.writeLock();
    private static volatile boolean updating = false;   // 是否正在升级

    @Override
    public String locate(String ip) {
        return getAddress(ip);
    }

    /**
     * <pre>
     * 用来封装ip相关信息，目前只有两个字段，ip所在的国家和地区
     * </pre>
     */
    private class IPLocation {
        public String country;
        public String area;

        public IPLocation() {
            country = area = "";
        }

        public IPLocation getCopy() {
            IPLocation ret = new IPLocation();
            ret.country = country;
            ret.area = area;
            return ret;
        }
    }

    private static String IP_DB_FILE = getOrCreateDBFile().getAbsolutePath(); // IP 数据库文件

    // 一些固定常量，比如记录长度等等
    private static final int IP_RECORD_LENGTH = 7;
    private static final byte AREA_FOLLOWED = 0x01;
    private static final byte NO_AREA = 0x2;
    // 用来做为cache，查询一个ip时首先查看cache，以减少不必要的重复查找
    private final Hashtable ipCache;
    // 随机文件访问类
    private RandomAccessFile ipFile;
    // 内存映射文件
    private MappedByteBuffer mbb;
    // 单一模式实例
    private static QQWryIPLocator instance = new QQWryIPLocator();
    // 起始地区的开始和结束的绝对偏移
    private long ipBegin, ipEnd;
    // 为提高效率而采用的临时变量
    private final IPLocation loc;
    // private final byte[] buf;//不需要了
    private final byte[] b4;
    private final byte[] b3;
    private MappedByteBuffer ramFile;
    private Map<byte[]/*ip*/, IPLocation> cache = Maps.newConcurrentMap();

    /**
     * 私有构造函数
     */
    private QQWryIPLocator() {
        ipCache = new Hashtable();
        loc = new IPLocation();
        b4 = new byte[4];
        b3 = new byte[3];
        try {
            ipFile = new RandomAccessFile(IP_DB_FILE, "r");
        } catch (FileNotFoundException e) {
            System.out.println("IP地址信息文件没有找到，IP显示功能将无法使用");
            ipFile = null;
        }
        // 如果打开文件成功，读取文件头信息
        if (ipFile != null) {
            try {
                ipBegin = readLong4(0);
                ipEnd = readLong4(4);
                if (ipBegin == -1 || ipEnd == -1) {
                    ipFile.close();
                    ipFile = null;
                }
            } catch (IOException e) {
                System.out.println("IP地址信息文件格式有错误，IP显示功能将无法使用");
                ipFile = null;
            }
        }
    }

    /**
     * 根据IP得到国家名
     *
     * @param ip IP的字符串形式
     * @return 国家名字符串
     */
    public String getCountry(String ip) {
        return getCountry(toBytes(ip));
    }

    /**
     * 根据IP得到国家名
     *
     * @param ip ip的字节数组形式
     * @return 国家名字符串
     */
    public String getCountry(byte[] ip) {
        IPLocation loc = getIPLocation(ip);
        return loc.country;
    }

    /**
     * 根据IP得到地区名
     *
     * @param ip IP的字符串形式
     * @return 地区名字符串
     */
    public String getArea(String ip) {
        return getArea(toBytes(ip));
    }


    /**
     * 根据IP得到地区名
     *
     * @param ip ip的字节数组形式
     * @return 地区名字符串
     */
    public String getArea(byte[] ip) {
        IPLocation loc = getIPLocation(ip);
        return loc.area;
    }

    /* ***************************************************************
     *
     * ***************************************************************/

    /**
     * 根据ip搜索ip信息文件，得到IPLocation结构，所搜索的ip参数从类成员ip中得到
     *
     * @param ip 要查询的IP
     * @return IPLocation结构
     */
    private IPLocation getIPLocation(byte[] ip) {
        IPLocation loc = cache.get(ip);
        if (null != loc) {
            return loc;
        }

        long offset = locateIP(ip);     // 获取 IP 信息偏移量
        if (-1 != offset) {
            loc = getIPLocation(offset);
        }
        if (null == loc) {
            loc = new IPLocation();
            loc.country = "未知国家";
            loc.area = "未知地区";
        }
        cache.put(ip, loc);
        return loc;
    }

    /**
     * 这个方法将根据ip的内容，定位到包含这个ip国家地区的记录处，返回一个绝对偏移 方法使用二分法查找。
     *
     * @param ip 要查询的IP
     * @return 如果找到了，返回结束IP的偏移，如果没有找到，返回-1
     */
    private long locateIP(byte[] ip) {
        readLock.lock();
        try {
            long m = 0;
            int r;
            readIPTo(ipBegin, b4);
            r = compareIP(ip, b4);  // 比较第一个ip项
            if (r == 0) {
                return ipBegin;     // 如果是第一个 IP 项
            } else if (r < 0) {
                return -1;          // 如果在第一个 IP 项之前
            }

            // 开始二分搜索
            for (long i = ipBegin, j = ipEnd; i < j; ) {
                m = getMiddleOffset(i, j);
                readIPTo(m, b4);
                r = compareIP(ip, b4);

                if (r > 0) {                    // 在当前位置之后
                    i = m;
                } else if (r < 0) {             // 在当前位置之前
                    if (m == j) {
                        j -= IP_RECORD_LENGTH;
                        m = j;
                    } else {
                        j = m;
                    }
                } else {
                    return readLong3(m + 4);    // 找到
                }
            }

            // 如果循环结束了，那么i和j必定是相等的，这个记录为最可能的记录，但是并非
            // 肯定就是，还要检查一下，如果是，就返回结束地址区的绝对偏移
            m = readLong3(m + 4);
            readIPTo(m, b4);
            r = compareIP(ip, b4);
            if (r <= 0) {
                return m;
            } else {
                return -1;
            }
        } finally {
            readLock.unlock();
        }
    }

    /**
     * 给定一个ip国家地区记录的偏移，返回一个IPLocation结构
     *
     * @param offset
     * @return
     */
    private IPLocation getIPLocation(long offset) {
        readLock.lock();
        try {
            ipFile.seek(offset + 4);                // 跳过4字节ip
            byte b = ipFile.readByte();             // 读取第一个字节判断是否标志字节
            if (b == AREA_FOLLOWED) {
                long countryOffset = readLong3();   // 读取国家偏移
                ipFile.seek(countryOffset);         // 跳转至偏移处
                b = ipFile.readByte();              // 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向
                if (b == NO_AREA) {
                    loc.country = readString(readLong3());
                    ipFile.seek(countryOffset + 4);
                } else {
                    loc.country = readString(countryOffset);
                }
                loc.area = readArea(ipFile.getFilePointer());   // 读取地区标志
            } else if (b == NO_AREA) {
                loc.country = readString(readLong3());
                loc.area = readArea(offset + 8);
            } else {
                loc.country = readString(ipFile.getFilePointer() - 1);
                loc.area = readArea(ipFile.getFilePointer());
            }
            return loc;
        } catch (IOException e) {
            return null;
        } finally {
            readLock.unlock();
        }
    }

    /**
     * 从offset偏移处读取一个以0结束的字符串
     *
     * @param offset
     * @return 读取的字符串，出错返回空字符串
     */
    private String readString(long offset) {
        readLock.lock();
        try {
            ipFile.seek(offset);
            //int i;
            //for (i = 0, buf[i] = ipFile.readByte(); buf[i] != 0; buf[++i] = ipFile.readByte());
            //上面的写法读取数据如果超过100个字节就会报数组越界异常
            int i = 0;
            byte[] buf = new byte[256];
            while ((buf[i] = ipFile.readByte()) != 0) {
                ++i;
                if (i >= buf.length) {
                    byte[] tmp = new byte[i + 100];
                    System.arraycopy(buf, 0, tmp, 0, i);
                    buf = tmp;
                }
            }
            /////////
            if (i != 0)
                return getString(buf, 0, i, "GBK");
        } catch (IOException e) {
            System.out.println(e.getMessage());
        } finally {
            readLock.unlock();
        }
        return "";
    }

    /**
     * 从offset偏移开始解析后面的字节，读出一个地区名
     *
     * @param offset
     * @return 地区名字符串
     * @throws IOException
     */
    private String readArea(long offset) throws IOException {
        readLock.lock();
        try {
            ipFile.seek(offset);
            byte b = ipFile.readByte();
            if (b == 0x01 || b == 0x02) {
                long areaOffset = readLong3(offset + 1);
                if (areaOffset == 0)
                    return "未知地区";
                else
                    return readString(areaOffset);
            } else {
                return readString(offset);
            }
        } finally {
            readLock.unlock();
        }
    }


    /**
     * 根据某种编码方式将字节数组转换成字符串
     *
     * @param b        字节数组
     * @param offset   要转换的起始位置
     * @param len      要转换的长度
     * @param encoding 编码方式
     * @return 如果encoding不支持，返回一个缺省编码的字符串
     */
    private String getString(byte[] b, int offset, int len, String encoding) {
        try {
            return new String(b, offset, len, encoding);
        } catch (UnsupportedEncodingException e) {
            return new String(b, offset, len);
        }
    }


    /**
     * 从offset位置读取4个字节为一个long，因为java为big-endian格式，所以没办法 用了这么一个函数来做转换
     *
     * @param offset
     * @return 读取的long值，返回-1表示读取文件失败
     */
    private long readLong4(long offset) {
        long ret = 0;
        try {
            ipFile.seek(offset);
            ret |= (ipFile.readByte() & 0xFF);
            ret |= ((ipFile.readByte() << 8) & 0xFF00);
            ret |= ((ipFile.readByte() << 16) & 0xFF0000);
            ret |= ((ipFile.readByte() << 24) & 0xFF000000);
            return ret;
        } catch (IOException e) {
            return -1;
        }
    }

    /**
     * 从offset位置读取3个字节为一个long，因为java为big-endian格式，所以没办法 用了这么一个函数来做转换
     *
     * @param offset
     * @return 读取的long值，返回-1表示读取文件失败
     */
    private long readLong3(long offset) {
        long ret = 0;
        try {
            ipFile.seek(offset);
            ipFile.readFully(b3);
            ret |= (b3[0] & 0xFF);
            ret |= ((b3[1] << 8) & 0xFF00);
            ret |= ((b3[2] << 16) & 0xFF0000);
            return ret;
        } catch (IOException e) {
            return -1;
        }
    }

    /**
     * 从当前位置读取3个字节转换成long
     *
     * @return
     */
    private long readLong3() {
        long ret = 0;
        try {
            ipFile.readFully(b3);
            ret |= (b3[0] & 0xFF);
            ret |= ((b3[1] << 8) & 0xFF00);
            ret |= ((b3[2] << 16) & 0xFF0000);
            return ret;
        } catch (IOException e) {
            return -1;
        }
    }

    /**
     * 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是
     * 文件中是little-endian形式，将会进行转换
     *
     * @param offset
     * @param ip
     */
    private void readIPTo(long offset, byte[] ip) {
        try {
            ipFile.seek(offset);
            ipFile.readFully(ip);
            swap(ip, 0, 3);
            swap(ip, 1, 2);
        } catch (IOException e) {
            System.out.println(e.getMessage());
        }
    }


    private static void swap(byte[] bytes, int a, int b) {
        bytes[a] ^= bytes[b];
        bytes[b] ^= bytes[a];
        bytes[a] ^= bytes[b];
    }

    /**
     * 把类成员ip和beginIp比较，注意这个beginIp是big-endian的
     *
     * @param ip      要查询的IP
     * @param beginIp 和被查询IP相比较的IP
     * @return 相等返回0，ip大于beginIp则返回1，小于返回-1。
     */
    private int compareIP(byte[] ip, byte[] beginIp) {
        for (int i = 0; i < 4; i++) {
            int r = compareByte(ip[i], beginIp[i]);
            if (r != 0)
                return r;
        }
        return 0;
    }

    /**
     * 把两个byte当作无符号数进行比较
     *
     * @param b1
     * @param b2
     * @return 若b1大于b2则返回1，相等返回0，小于返回-1
     */
    private int compareByte(byte b1, byte b2) {
        return ((b1 & 0xFF) > (b2 & 0xFF) ? 1 : ((b1 ^ b2) == 0) ? 0 : -1);
    }


    /**
     * 得到begin偏移和end偏移中间位置记录的偏移
     *
     * @param begin
     * @param end
     * @return
     */
    private long getMiddleOffset(long begin, long end) {
        long records = (end - begin) / IP_RECORD_LENGTH;
        records >>= 1;
        records = 0 == records ? 1 : records;
        return begin + records * IP_RECORD_LENGTH;
    }

    private byte[] toBytes(String ip) {
        byte[] ret = new byte[4];
        StringTokenizer st = new StringTokenizer(ip, ".");
        try {
            ret[0] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
            ret[1] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
            ret[2] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
            ret[3] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
        } catch (Exception e) {
            //  LogFactory.log("从ip的字符串形式得到字节数组形式报错", Level.ERROR, e);
        }
        return ret;
    }

    /**
     * @param ipBytes ip的字节数组形式
     * @return 字符串形式的ip
     */
    private String toString(byte[] ipBytes) {
        StringBuilder sb = new StringBuilder();
        sb.delete(0, sb.length());
        sb.append(ipBytes[0] & 0xFF).append('.').append(ipBytes[1] & 0xFF).append('.').append(ipBytes[2] & 0xFF).append('.').append(ipBytes[3] & 0xFF);
        return sb.toString();
    }


    public String getAddress(String ip) {
        IPLocation loc = getIPLocation(toBytes(ip));
        String country = loc.country;
        String area = loc.area;
        country = !" CZ88.NET".equals(country) ? country : "";
        area = !" CZ88.NET".equals(area) ? area : "";
        return (country + " " + area).trim();
    }

    private static File getDBFile() {
        File classpath = Resources.getResourceAsFile("/");
        if (!classpath.canWrite()) {
            classpath = new File(System.getProperty("java.io.tmpdir"));
        }
        return new File(classpath, IP_DB_NAME);
    }

    private static File getOrCreateDBFile() {
        File db = getDBFile();
        if (!db.canRead()) {
            upgrade();
        }
        if (!db.canRead()) {
            throw new IllegalStateException(String.format("IP DB %s is can not read", db));
        }
        return db;
    }


    /* *******************************************
     *            Database Upgrade
     * *******************************************/

    /**
     * 更新数据库文件
     */
    public static void upgrade() {
        LOG.info("开始升级 IP 数据库...");
        if (updating) {
            LOG.info("IP 数据库已经在升级, 取消当前请求...");
            return;
        }

        updating = true;
        final int timeout = 3 * 1000;
        try {
            LOG.info("下载 IP 数据库 Key....");
            InputStream is = HttpUtils.get(UPGRADE_COPYWRITE_URL, null, timeout);
            byte[] buff = new byte[4];
            IOUtils.readFully(is, buff, false); // "CZIP"
            IOUtils.readFully(is, buff, false); // version
            IOUtils.readFully(is, buff, false); // unknown: 0x01
            IOUtils.readFully(is, buff, false); // qqwry.rar size
            IOUtils.readFully(is, buff, false); // unknown:
            IOUtils.readFully(is, buff, false); // key
            int key = (buff[0] & 0xFF) | ((buff[1] & 0xFF) << 8) | ((buff[2] & 0xFF) << 16) | ((buff[3] & 0xFF) << 24);
            buff = new byte[128];
            IOUtils.readFully(is, buff, false); // 提供商
            IOUtils.readFully(is, buff, true);  // 网址

            LOG.info("下载 IP 数据库....");
            is = HttpUtils.get(UPGRADE_DATA_URL, null, timeout);
            buff = IOUtils.readBytes(is, true);
            for (int i = 0; i < 0x200; i++) {
                key *= 0x805;
                key++;
                key &= 0xFF;
                buff[i] = (byte) (buff[i] ^ key);
            }

            LOG.info("解压 IP 数据库....");
            File qqwry = File.createTempFile("qqwry", ".dat.tmp");
            qqwry.deleteOnExit();

            FileOutputStream fos = new FileOutputStream(qqwry);
            decompress(buff, fos);
            fos.flush();
            IOUtils.close(fos);
            LOG.info("升级 IP 数据库...");

            doUpgrade(qqwry);

            LOG.info("IP 数据库升级完成... (" + getDBFile() + ")");
        } catch (IOException ie) {
            throw Throwables.unchecked(ie);
        } finally {
            updating = false;
        }
    }

    private static void doUpgrade(File newFile) {
        writeLock.lock();
        try {
            if (newFile.canRead()) {
                Files.copy(newFile, getDBFile());
                newFile.delete();
            }
        } catch (IOException e) {
            throw Throwables.unchecked(e);
        } finally {
            writeLock.unlock();
        }
    }

    /**
     * ZLIB 解压
     *
     * @param data 待压缩的数据
     * @return byte[] 解压缩后的数据
     */
    private static void decompress(byte[] data, OutputStream o) {
        Inflater decompresser = new Inflater();
        decompresser.reset();
        decompresser.setInput(data);

        try {
            byte[] buf = new byte[1024];
            while (!decompresser.finished()) {
                int i = decompresser.inflate(buf);
                o.write(buf, 0, i);
            }
        } catch (Exception e) {
            throw Throwables.unchecked(e);
        } finally {
            try {
                o.close();
            } catch (IOException ignore) { /*ignore*/ }
        }

        decompresser.end();
    }

    /* *******************************************************
     *
     * *******************************************************/

    /**
     * @param offset
     * @return
     */
    private IPLocation getIPLocation(int offset) {
        mbb.position(offset + 4);           // 跳过4字节ip
        byte b = mbb.get();                 // 读取第一个字节判断是否标志字节
        if (b == AREA_FOLLOWED) {
            int countryOffset = readInt3(); // 读取国家偏移
            mbb.position(countryOffset);    // 跳转至偏移处
            b = mbb.get();                  // 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向
            if (b == NO_AREA) {
                loc.country = readString(readInt3());
                mbb.position(countryOffset + 4);
            } else {
                loc.country = readString(countryOffset);
            }
            loc.area = readArea(mbb.position());    // 读取地区标志
        } else if (b == NO_AREA) {
            loc.country = readString(readInt3());
            loc.area = readArea(offset + 8);
        } else {
            loc.country = readString(mbb.position() - 1);
            loc.area = readArea(mbb.position());
        }
        return loc;
    }

    /**
     * 从内存映射文件的offset位置得到一个0结尾字符串
     *
     * @param offset
     * @return
     */
    private String readString(int offset) {
        try {
            mbb.position(offset);
            //int i;
            //for (i = 0, buf[i] = mbb.get(); buf[i] != 0; buf[++i] = mbb.get());
            int i = 0;
            byte[] buf = new byte[256];
            while ((buf[i] = mbb.get()) != 0) {
                ++i;
                if (i >= buf.length) {
                    byte[] tmp = new byte[i + 100];
                    System.arraycopy(buf, 0, tmp, 0, i);
                    buf = tmp;
                }
            }
            if (i != 0)
                return getString(buf, 0, i, "GBK");
        } catch (IllegalArgumentException e) {
            System.out.println(e.getMessage());
        }
        return "";
    }

    /**
     * @param offset
     * @return
     */
    private String readArea(int offset) {
        readLock.lock();
        try {
            mbb.position(offset);
            byte b = mbb.get();
            if (b == 0x01 || b == 0x02) {
                int areaOffset = readInt3();
                if (areaOffset == 0) return "未知地区";
                else return readString(areaOffset);
            } else {
                return readString(offset);
            }
        } finally {
            readLock.unlock();
        }
    }

    /**
     * 从内存映射文件的offset位置开始的3个字节读取一个int
     *
     * @param offset
     * @return
     */
    private int readInt3(int offset) {
        mbb.position(offset);
        return mbb.getInt() & 0x00FFFFFF;
    }

    /**
     * 从内存映射文件的当前位置开始的3个字节读取一个int
     *
     * @return
     */
    private int readInt3() {
        return mbb.getInt() & 0x00FFFFFF;
    }

    /**
     * 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是
     * 文件中是little-endian形式，将会进行转换
     *
     * @param offset
     * @param ip
     */
    private void readIP(int offset, byte[] ip) {
        mbb.position(offset);
        mbb.get(ip);
        swap(ip, 0, 3);
        swap(ip, 1, 2);
    }
}
